Загрузка данных¶
In [38]:
data = pd.read_csv('data/processed/tep_data.csv', index_col='Index')
print(f'Len of dataset: {data.shape[0]}')
Установка гиперпараметров¶
In [11]:
from src.models.lstm import lstm_model
import keras
build_params = dict(
input_length=window_length,
input_shape=X.shape[-1],
lstm_layers_size=[2, 2],
dropout_coeff=0.1,
optimizer=keras.optimizers.Adam(lr=0.01),
reg_strength=0.005,
)
fit_params = dict(
batch_size=64,
epochs=10,
verbose=1,
callbacks=[
keras.callbacks.ReduceLROnPlateau(patience=3),
keras.callbacks.EarlyStopping(min_delta=0.01, patience=5)
]
)
Кросс-валидация¶
In [12]:
from src.utils import cross_validate
results = cross_validate(lambda: lstm_model(**build_params), 3, fit_params, X, y)
In [13]:
from src.visualization.visualize import visualize_cv_result
visualize_cv_result(results, f'Window length = {window_length}')
Обучение на всех данных¶
In [15]:
model = lstm_model(**build_params)
model.fit(X, y, **fit_params)
Out[15]:
Нахождение оптимального порогового значения¶
In [41]:
plt.figure(figsize=(8, 4))
plt.plot(anom_treshs, anom_recalls, label='Только сгенерированные аномалии')
plt.plot(anom_treshs, norm_recalls, label='Только нормальные данные')
optimum = anom_treshs[np.argmin(
np.abs(np.array(anom_recalls) - np.array(norm_recalls)))]
plt.vlines(optimum, 0, 1, linestyles='dashed', label='Оптимум')
plt.title(f'Оптимум - {optimum:.2f}')
plt.xlabel('Порог')
plt.ylabel('Доля корректных')
plt.legend()
Out[41]:
Генерация и вставка аномалий в нормальные данные¶
Выберем порог, который получили в прошлый раз
In [32]:
from sklearn.metrics import recall_score, precision_score
tresh = optimum
anoms_pred = np.where(diff >= optimum)[0]
recall = intersection_over_true(data.shape[0], anom_idxs_start, anom_lens,
anoms_pred, window_length, recall_score)
precision = intersection_over_true(data.shape[0], anom_idxs_start, anom_lens,
anoms_pred, window_length, precision_score)
print(f'Полнота={recall:.3f}, Точность={precision:.3f}, Порог={tresh:.2f}')
In [40]:
# Blue - anomalies predicted by model
# Red - anomalies that was not catched by model
# Green - original data, that is neither anomaly nor predicted as anomaly
show(p)